ارتباط بین برآوردگر آنتروپی ماکسیمم و برآوردگر درستنمایی ماکسیمم

اگر فهرستی از مهمترین پیشرفت های پنجاه سال گذشته در علم احتمال را تهیه کنیم، این فهرست باید شامل کشف اندازه ی اطلاع آنتروپی بوسیله شانون در سال1948 و نیز کشف اصل آنتروپی ماکسیمم بوسیله ی جینز در سال1957 و کاگان وهمکاران در سال1973 باشد. یکی از مباحثی که نقش مهمی در استنباط آماری دارد، ماکسیمم کردن انتروپی در یک کلاس از توزیع ها متناظر با یک سری از محدودیتها می باشد. در این راستا برخی از توزیع هایی را که دارای آنتروپی ماکسیمم تحت محدودیتهای معین می باشند، به دست می اوریم. در این پایان نامه ضمن معرفی برآوردگر آنتروپی ماکسیمم، ا رتباط این براوردگر را با برآوردگر درستنمایی ماکسیمم مورد بررسی قرار می دهیم. در این ارتباط، برنامه ای که به کمک نرم افزار matlab نوشته شده است ارائه می دهیم. به کمک چند مثال، ارتباط بین این دو برآوردگر را روشن می کنیم. اصل اطلاع کلبک مینیمم و ارتباط بین برآوردگر اطلاع کلبک مینیمم و برآوردگر درستنمایی ماکسیمم نیز از دیگر مباحثی است که در این پایان نامه مورد توجه قرار گرفته است. در انتها چند اندازه ی اطلاع دیگر را معرفی کرده و ارتباط این اندازه های اطلاع را با اندازه ی اطلاع کلبک مطرح و در نتیجه ارتباط آنها با برآوردگر درستنمایی ماکسیمم را به دست می آوریم.